Tổ tiên của Vaughan bắt đầu từ ông cố Robert Hodgen Larue. Robert Larue có một người con gái tên là Laura Belle, bà nội của Vaughan. Bà kết hôn với Thomas Lee Vaughan and chuyển tới Quận Rockwall, Texas và sống bằng nghề làm nông.[6][nb 1] Ngày 6 tháng 9 năm 1921, họ có với nhau một người con trai tên là Jimmie Lee Vaughan.[10]

Jim Vaughan bỏ học năm 16 tuổi và gia nhập Hải quân Mỹ trong Thế chiến II. Sau khi giải ngũ, ông kết hôn với Martha Cook vào ngày 13 tháng 1 năm 1954.[11] Stephen Ray Vaughan sinh ra vào ngày 3 tháng 10 năm 1954, tại Dallas, Texas, sau người anh Jimmie (sinh năm 1951) 3 năm rưỡi. Big Jim làm việc ở vị trí một công nhân ami-ăng, một công việc liên quan đến việc đảm bảo chất lượng nghiêm ngặt. Gia đình ông thường xuyên phải chuyển, sống ở các Bang khác nhau như Arkansas, Louisana, Mississippi, và Oklahoma trước khi chuyển hẳn về khu Oak Cliff của Dallas. Vaughan, một cậu bé nhút nhát và thiếu tự tin, bị ảnh hưởng sâu sắc bởi tuổi thơ của mình. Cha anh vật lộn với việc lạm dụng rượu và thường xuyên khủng bố gia đình mình và bạn bè vì tính khí thất thường. Trong nhiều năm sau đó, Vaughan đã nhắc lại việc anh từng là nạn nhân bị Big Jim bạo hành.[12]